Paus Sperm berbeza kerana kepalanya yang besar, terutama bagi paus jantan, yang biasanya satu per tiga daripada panjangnya. Malah, nama spesies macrocephalus diambil dari bahasa Yunani untuk 'kepala besar'. Berbeza dengan kulit yang licin sebagaimana kebanyakan pauh gergasi lain, kulit dibelakang paus Sperm biasanya berkedut dan telah disamakan dengan prune oleh peminat pemerhati paus (rujuk 5. di bawah). Mereka bewarna kelabu serata dan mungkin kelihatan perang dibawah cahaya matahari ("Great White Whale" dalam novel Melville, sekiranya haiwan tersebut wujud, kemungkinannya albino). Tidak menghairankan, otak Paus Sperm adalah yang terbesar dan terberat bagi semua haiwan(berat purata 7 kg dalam paus jantan dewasa). Bagaimanapun, otak Paus Sperma adalah tidak besar jika dibandingkan dengan saiz badan..

Liang pernafasan blowhole terletak berhampiran dengan bahagian hadapan kepala dan condong ke kiri (jika dilihat kearah yang sama dengan paus). Ini memberikan ciri-ciri hembusan berberkembang yang jelas kearah hadapan. Dorsal fin nya terletak sekitar dua pertiga kebawah tulang belakang dan biasanya pendek dan berbentuk segi tiga sekata. Fluke nya juga berbentuk segi tiga dan amat tebal. Flukes diangkat tinggi keluar daripada air sebelum paus memulakan selaman dalam.

Paus Sperm mempunyai 20-26 pasang gigi kon pada rahang bawah mereka. Setiap gigi mampu mencecah sehingga satu kilogram. Sebab kewujupan gigi ini tidaklah diketahui dengan pasti. Ia dipercayai bahawa gigi-gigi tersebut tidak diperlukan untuk makan sotong (lihat Makan di bawah), malah Paus Sperma liar yang sihat dan cukup makan telah dilihat tanpa gigi. Consensus para saintis masa kini adalah gigi-gigi tersebut mungkin digunakan dalam pertelingkahan antara paus jantan dalam spesies yang sama. Hipotesis ini selari dengan gigi yang bentuk kon dan jarang-jarang. Gigi bentuk asas juga terdapat dibahagian rahang atas tetapi ia jarang tumbuh nampak dimulut.